home *** CD-ROM | disk | FTP | other *** search
/ HPAVC / HPAVC CD-ROM.iso / NEUCLS3.ZIP / NURN.ZP / FAQC.HLP < prev    next >
Text File  |  1993-01-07  |  10KB  |  232 lines
  1. This document is divided into two part as follows.
  2.  
  3. 1. Questions About This Package
  4. 2. Questions About The Theory Behind This Package
  5.  
  6.  
  7.  
  8. 1. Questions About This Package
  9.  
  10. Q;  What capabilities does this software package have that 
  11.     differentiate it from those developed elsewhere ?      
  12. A;  This package 
  13.  (1) Includes a network structure estimation program, that allows 
  14.      one to estimate how many hidden units an MLP must have to achieve 
  15.      a user-chosen performance. This program usually, but not always, works.
  16.  (2) Includes a fast training program unlike others that are available. 
  17.      This technique is about 3 times faster than full-blown (without 
  18.      heuristic changes for speeding it up) conjugate gradient training, 
  19.      and performs slightly better. Training is 10 to 100 times faster 
  20.      than backpropagation. 
  21.  (3) Includes a network structure analysis program. Given a trained 
  22.      MLP, this program makes a table of network performance versus 
  23.      the number of hidden units. Using the table, and the non-demo 
  24.      version of this program, the user can choose the size wanted 
  25.      and prune the network, saving new weight and network structure files.
  26.      The non-demo version can also determine the amount of nonlinearity 
  27.      (degree) in each hidden layer, thereby informing the user if a 
  28.      linear network would solve his problem.
  29.      
  30. Q;  Why does this package design only classification networks and not 
  31.     mapping or estimation networks ? Don't both types of network use 
  32.     the same format for training data and the same training algorithms ?
  33. A;  We have separate packages for classification and mapping or 
  34.     estimation because;    
  35.  (1) Our training algorithms for classification and mapping networks have 
  36.      some important differences. For example, the functional link net 
  37.      design for a mapping net is not iterative, whereas that for 
  38.      classification nets is iterative. The MLP classification network 
  39.      learns even when the learning factor is set to 0., unlike the MLP 
  40.      for mapping.  
  41.  (2) Combining the two packages would make the result unnecessarily large.
  42.  (3) Many people need to do mapping or classification but not both.
  43.  
  44. Q;  What error function is being minimized during backpropagation training,
  45.     fast training, and functional link net training ?
  46.  
  47.                    Npat Nout             2
  48. A;  MSE = (1/Npat) SUM  SUM [ Tpk - Opk ]
  49.                    p=1  k=1  
  50.  
  51.     where Npat is the number of training patterns, Nout is the number 
  52.     of network output nodes, Tpk is the desired output for the pth
  53.     training pattern and the kth output, and Opk is the actual output
  54.     for the pth training pattern and the kth output. The desired
  55.     output Tpk is 0 for the correct class and 1 for other classes.
  56.     MSE is printed for each iteration.
  57.  
  58. Q;  What is the error percentage that is printed out during 
  59.     backpropagation training, fast training, and functional link net
  60.     training ?
  61. A;  Err = 100 x (number of patterns misclassified/Npat).
  62.  
  63. Q;  I get an "Out of environment space when deleting a file in the
  64.     utilities section. How can I fix this ?
  65. A;  Increase the environment space. Add the switch /e:512 or /e:1024 
  66.     to the shell command in your config.sys file.
  67.  
  68. Q:  The package seems very sluggish when I use a serial mouse. How can
  69.     I fix this ?
  70. A;  The package should run much faster if you disable the mouse. You can 
  71.     comment out the mouse command in your autoexec.bat file. Also, a 
  72.     bus type mouse may work ok. We are still investigating the serial
  73.     mouse problem.
  74.  
  75.  
  76. 2. Questions About The Theory Behind This Package
  77.     
  78. Q;  Do you have any papers related to the prediction of neural net
  79.     size (Sizing) ?
  80. A;  Classified.
  81.  
  82.     
  83. Q;  Do you have any papers related to fast training of MLPs, and
  84.     related topics?
  85. A;  Yes. 
  86.     
  87.     M.S. Dawson, A.K. Fung, M.T. Manry, "Sea Ice Classification Using
  88.     Fast Learning Neural Networks," Proc. of IGARSS'92, Houston, Texas,
  89.     May 1992, vol. II, pp 1070-1071.
  90.     
  91.     M.S. Dawson, J. Olvera, A.K. Fung, M.T. Manry, "Inversion of
  92.     Surface Parameters Using Fast Learning Neural Networks," Proc. of
  93.     IGARSS'92, Houston, Texas, May 1992, vol. II, pp 910-912.
  94.     
  95.     M.T. Manry, X. Guan, S.J. Apollo, L.S. Allen, W.D. Lyle, and W.
  96.     Gong, "Output Weight Optimization for the Multi-Layer Perceptron,"
  97.     Conference Record of the Twenty-Sixth Annual Asilomar Conference on
  98.     Signals, Systems, and Computers, Oct. 1992, vol 1, pp. 502-506.
  99.     
  100.     X. Jiang, Mu-Song Chen, and M.T. Manry, "Compact Polynomial
  101.     Modeling of the Multi-Layer Perceptron," Conference Record of the
  102.     Twenty-Sixth Annual Asilomar Conference on Signals, Systems, and
  103.     Computers, Oct. 1992, vol 2, pp.791-795.
  104.     
  105.     R.R. Bailey, E.J. Pettit, R.T. Borochoff, M.T. Manry, and X. Jiang,
  106.     "Automatic Recognition of USGS Land Use/Cover Categories Using
  107.     Statistical and Neural Network Classifiers," Proceedings of SPIE
  108.     OE/Aerospace and Remote Sensing, April 12-16, 1993, Orlando
  109.     Florida.
  110.     
  111.     M.S. Dawson, A.K. Fung, M.T. Manry, "Classification of SSM/I Polar
  112.     Sea Ice Data Using Neural Networks," Proc. of PIERS 93, 1993, p.
  113.     572.
  114.     
  115.     F. Amar, M.S. Dawson, A.K. Fung, M.T. Manry, "Analysis of
  116.     Scattering and Inversion From Forest," Proc. of PIERS 93, 1993, p.
  117.     162.
  118.     
  119.     A. Gopalakrishnan, X. Jiang, M-S Chen, and M.T. Manry,
  120.     "Constructive Proof of Efficient Pattern storage in the Multilayer
  121.     Perceptron,"  Conference Record of the Twenty-Seventh Annual
  122.     Asilomar Conference on Signals, Systems, and Computers, Nov. 1993.
  123.     
  124.     K. Rohani, M.S. Chen and M.T. Manry, "Neural Subnet Design by
  125.     Direct Polynomial Mapping," IEEE Transactions on Neural Networks,
  126.     Vol. 3, no. 6, pp. 1024-1026, November 1992. 
  127.     
  128.     M.S. Dawson, A.K. Fung, and M.T. Manry, "Surface Parameter
  129.     Retrieval Using Fast Learning Neural Networks," Remote Sensing
  130.     Reviews, Vol. 7, pp. 1-18, 1993.
  131.  
  132.     M.T. Manry, S.J. Apollo, L.S. Allen, W.D. Lyle, W. Gong, M.S.
  133.     Dawson, and A.K. Fung, "Fast Training of Neural Networks for Remote
  134.     Sensing," Remote Sensing Reviews, July 1994, vol. 9, pp. 77-96, 1994.
  135.     
  136.  
  137. Q;  Do you have any papers related to the analysis of trained neural
  138.     networks ?
  139. A;  Yes. 
  140.     
  141.     W. Gong and M.T. Manry, "Analysis of Non-Gaussian Data Using a
  142.     Neural Network," Proceedings of IJCNN 89, vol. II, p. II-576,
  143.     Washington D.C., June 1989.
  144.     
  145.     M.S. Chen and M.T. Manry, "Back-Propagation Representation Theorem
  146.     Using Power Series," Proceedings of IJCNN 90, San Diego, I-643 to
  147.     I-648.
  148.     
  149.     M.S. Chen and M.T. Manry, "Basis Vector Analyses of Back-
  150.     Propagation Neural Networks," Proceedings of the 34th Midwest
  151.     Symposium on Circuits and Systems, Monterey, California, May 14-17
  152.     1991, vol. 1, pp 23-26. 
  153.     
  154.     M.S. Chen and M.T. Manry, "Power Series Analyses of Back-
  155.     Propagation Neural Networks," Proc. of IJCNN 91, Seattle WA., pp.
  156.     I-295 to I-300.
  157.     
  158.     M.S. Chen and M.T. Manry, "Nonlinear Modelling of Back- Propagation
  159.     Neural Networks," Proc. of IJCNN 91, Seattle WA., p. A-899.
  160.     
  161.     M.S. Chen and M.T. Manry, "Basis Vector Representation of Multi-
  162.     Layer Perceptron Neural Networks," submitted to IEEE Transactions
  163.     on Neural Networks.
  164.     
  165.     W. Gong, H.C. Yau, and M.T. Manry, "Non-Gaussian Feature Analyses
  166.     Using a Neural Network," accepted by Progress in Neural Networks,
  167.     vol. 2, 1991.
  168.     
  169.     X. Jiang, Mu-Song Chen, M.T. Manry, M.S. Dawson, A.K. Fung,
  170.     "Analysis and Optimization of Neural Networks for Remote Sensing,"
  171.     Remote Sensing Reviews, July 1994, vol. 9, pp. 97-114, 1994.
  172.     
  173.     M.S. Chen and M.T. Manry, "Conventional Modelling of the Multi-
  174.     Layer Perceptron Using Polynomial Basis Functions," IEEE
  175.     Transactions on Neural Networks, Vol. 4, no. 1, pp. 164-166,
  176.     January 1993. 
  177.     
  178.     K. Rohani and M.T. Manry, "Multi-Layer Neural Network Design Based
  179.     on a Modular Concept," accepted by the Journal of Artificial Neural
  180.     Networks.
  181.     
  182. Q;  Do you have any papers related to the prediction of neural net 
  183.     performance, and pre-processing of data ?
  184. A;  Yes. 
  185.     
  186.     S.J. Apollo, M.T. Manry, L.S. Allen, and W.D. Lyle, "Optimality of
  187.     Transforms for Parameter Estimation,"  Conference Record of the
  188.     Twenty-Sixth Annual Asilomar Conference on Signals, Systems, and
  189.     Computers, Oct. 1992, vol. 1, pp. 294-298.
  190.     
  191.     Q. Yu, S.J. Apollo, and M.T. Manry, "MAP Estimation and the
  192.     Multilayer Perceptron," Proceedings of the 1993 IEEE Workshop on
  193.     Neural Networks for Signal Processing, Linthicum Heights, Maryland,
  194.     Sept. 6-9, 1993, pp. 30-39.
  195.     
  196.     S.J. Apollo,  M.T. Manry, L.S. Allen, and W.D. Lyle, "Theory of
  197.     Neural Network-Based Parameter Estimation," submitted to Neural
  198.     Network Trans. of the IEEE. 
  199.     
  200.     S.J. Apollo,  M.T. Manry, L.S. Allen, and W.D. Lyle,
  201.     "Transformation-Based Data Compression for Parameter Estimation,"
  202.     submitted to IEEE Trans. on Signal Processing. 
  203.   
  204.     
  205. Q;  Do you have any papers related to the training of functional link
  206.     neural networks ?
  207. A;  Yes. 
  208.         
  209.     H.C. Yau and M.T. Manry, "Sigma-Pi Implementation of a Nearest
  210.     Neighbor Classifier," Proceedings of IJCNN 90, San Diego, I-667 to
  211.     I-672.
  212.     
  213.     H.C. Yau and M.T. Manry, "Sigma-Pi Implementation of a Gaussian
  214.     Classifier," Proceedings of IJCNN 90, San Diego, III-825 to
  215.     III-830.
  216.     
  217.     H.C. Yau and M.T. Manry, "Shape Recognition Using Sigma-Pi Neural
  218.     Networks," Proc. of IJCNN 91, Seattle WA., p. II A-934.
  219.     
  220.     H.C. Yau and M.T. Manry, "Shape Recognition with Nearest Neighbor
  221.     Isomorphic Network," Proceedings of the First IEEE-SP Workshop on
  222.     Neural Networks for Signal Processing, Princeton, New Jersey, Sept.
  223.     29 - Oct. 2, 1991, pp. 246-255.
  224.     
  225.     H.C. Yau and M.T. Manry, "Iterative Improvement of a Gaussian
  226.     Classifier," Neural Networks, Vol. 3, pp. 437-443, July 1990.
  227.     
  228.     H.C. Yau and M.T. Manry, "Iterative Improvement of a Nearest
  229.     Neighbor Classifier," Neural Networks, Vol. 4, Number 4, pp.
  230.     517-524, 1991.
  231.     
  232.